Récemment, la communauté Modelers a officiellement lancé Step-Video et Step-Audio, deux grands modèles multimodaux open source développés par Step-Video. Ces deux modèles sont respectivement utilisés pour la génération de vidéo et l'interaction vocale, visant à fournir aux développeurs et aux entreprises des outils IA plus performants. Step-Video, dont le nom complet est Step-Video-T2V, est un modèle de génération de vidéo open source parmi les plus grands au monde, avec un nombre de paramètres atteignant 30 milliards. Ce modèle est capable de générer directement des vidéos de 20...

L'équipe Emu3 de l'Institut d'Intelligence Artificielle de Beijing (BAAI) a publié un nouveau modèle multimodale, Emu3. Ce modèle, entraîné uniquement sur la prédiction du jeton suivant, révolutionne les architectures traditionnelles des modèles de diffusion et des modèles combinés, atteignant des performances de pointe pour les tâches de génération et de perception. La prédiction du jeton suivant a longtemps été considérée comme une voie prometteuse vers une intelligence artificielle générale (AGI), mais elle a jusqu'à présent montré des performances médiocres sur les tâches multimodales. Actuellement, le domaine multimodale est toujours dominé par les modèles de diffusion (tels que Stable Diffusion) et...

MiniMax, la société de technologie Xiyu, a récemment annoncé que depuis sa création fin 2021, MiniMax a construit des modèles linguistiques MoE, des modèles vocaux et des modèles d'images de plusieurs milliards de paramètres, et a lancé des applications natives telles que Xingye et Hailu AI, tout en fournissant des services d'API de plate-forme ouverte aux entreprises et aux développeurs.

Aujourd'hui, lors de la conférence des développeurs HDC2024 de Huawei, Zhang Pingan, administrateur exécutif et PDG du cloud Huawei, a annoncé officiellement le lancement de Huawei Cloud PanGu 5.0. PanGu 5.0, avec ses différents modèles de paramètres (milliards, dizaines de milliards, centaines de milliards et milliers de milliards), et ses fonctionnalités diversifiées incluant les modèles de langage naturel, les modèles multimodaux, les modèles de vision, les modèles prédictifs et les modèles de calcul scientifique, offre un support puissant sans précédent aux applications d'IA.

Gemini est le dernier modèle d'IA de Google, doté de capacités multimodales. Il est disponible en trois tailles : Ultra, Pro et Nano, adaptées à différentes tâches et appareils. Gemini offre des performances exceptionnelles, surpassant d'autres modèles dans plusieurs tests de référence. Il possède des capacités de raisonnement et de codage multimodales, permettant de traiter des informations textuelles, images et audio. Gemini sera mis à la disposition des développeurs et des entreprises début 2024.